12 权重衰退

• 限制权重的选择范围来控制模型容量（正则化）
  • 均方范数作为硬性限制
    
  • 均方范数作为柔性限制——lamda越大代表sita越小
    
  • 参数更新法则
    
    • 通过公式可以直观看到，当增加lamda时，权重会变小
• 总结
  • lamda是超参数

References

12 权重衰退【动手学深度学习v2】_哔哩哔哩_bilibili